Tan Sri Abdul Ghani Gilong asalnya merupakan seorang peladang sebelum menceburkan diri dalam bidang politik. Setelah Sabah menyertai Malaysia pada tahun 1963, beliau bersama-sama Tun Fuad Stephens mengasaskan Pertubuhan Bersatu Pasok-Momogun Kadazan. Setelah parti tersebut dibubarkan pada tahun 1967, beliau menyertai Pertubuhan Kebangsaan Sabah Bersatu (USNO).

Kerjaya politik beliau di peringkat persekutuan bermula dengan memegang jawatan sebagai Menteri Hal Ehwal Sabah dan Pertahanan Awam. Selain itu beliau juga pernah menjawat jawatan Menteri Kehakiman serta Menteri Kerja Raya dan Pengangkutan Malaysia. Semasa menjawat jawatan sebagai Menteri Kerja Raya, beliau merasmikan pembukaan Lebuhraya Karak serta Terowong Genting Sempah pada tahun 1977. Selain itu, beliau turut terlibat dalam pembinaan projek mega lain seperti Kampus Utama Institut Teknologi MARA di Shah Alam serta Empangan Temenggor di Perak.

Beliau bersara dari arena politik setelah tewas pada pilihan raya 1978. Beliau kembali menjadi seorang peladang selepas persaraannya.